آموزش Apache Kafka برای توسعه‌دهندگان با استفاده از Spring Boot - آخرین آپدیت

سرفصل ها و درس ها

شروع دوره Getting Started With the Course

• معرفی دوره و اهداف Course Introduction & Objectives

• پیش‌نیازها Pre-Requisites

آشنایی اولیه با کافکا Getting Started with Kafka

• مقدمه‌ای بر کافکا Introduction to Kafka

• ترمینولوژی کافکا و APIهای کلاینت Kafka Terminologies and Client APIs

درک اجزا و ساختار داخلی کافکا (تئوری و عملی) Understanding Kafka Components and its Internals - (Theory + Hands On)

• تاپیک‌ها و پارتیشن‌های کافکا (تئوری) Kafka Topics and Partitions - Theory

• راه‌اندازی Zookeeper و Kafka Broker به صورت محلی SetUp a Zookeeper/Kafka Broker in Local

• ساخت تاپیک، تولید و مصرف پیام‌ها با استفاده از CLI Create Topic, Produce and Consume Messages using the CLI

• تولید و مصرف پیام‌ها به همراه کلید (Key) Produce and Consume Messages with Key

• آفست‌های مصرف‌کننده (Consumer Offsets) Consumer Offsets

• گروه‌های مصرف‌کننده (Consumer Groups) Consumer Groups

• Commit Log و سیاست‌های Retention Commit Log and Retention Policy

• کافکا به عنوان یک سیستم استریم توزیع‌شده Kafka as a Distributed Streaming System

• راه‌اندازی کلاستر کافکا محلی با ۳ بروکر Setting up a Kafka Cluster in Local with 3 Kafka Brokers

• نحوه توزیع درخواست‌های کلاینت در کلاستر (Leader/Follower) How Kafka Cluster distributes the Client Requests ? - Leader/Follower

• نحوه مدیریت فقدان داده در کافکا (Replication و ISR) How Kafka handles Data Loss ? - Replication and In-Sync-Replica(ISR)

• پیکربندی min.insync.replicas Configuring min.insync.replicas

مرور کلی اپلیکیشن Application Overview

• مرور کلی اپلیکیشن مدیریت موجودی کتابخانه Overview of the application - Library Inventory

ساخت Kafka Producer با Spring Boot (عملی) Build Spring Boot Kafka Producer - Hands On

• راه‌اندازی پروژه پایه برای Producer رویدادهای کتابخانه Setting up the Base project for Library Event Kafka producer

• ساخت Domain مربوط به رویدادهای کتابخانه Build the Library Event Domain

• ایجاد اندپوینت POST برای libraryevent/ Create the POST endpoint "/libraryevent"

• آشنایی با Spring KafkaTemplate برای تولید پیام‌ها Introduction to Spring KafkaTemplate to Produce Messages

• پیکربندی KafkaTemplate با استفاده از پروفایل‌های Spring Boot Configure KafkaTemplate using Spring Boot Profiles - application.yml

• نحوه عملکرد AutoConfiguration در Spring Boot برای Producer How Kafka Spring Boot AutoConfiguration Works? - Kafka Producer

• ساخت خودکار تاپیک با استفاده از KafkaAdmin AutoCreate TOPIC using KafkaAdmin

• ساخت Producer با KafkaTemplate (روش اول - بخش ۱) Build LibraryEvents Producer using KafkaTemplate - Approach1- Part1

• ساخت Producer با KafkaTemplate (روش اول - بخش ۲) Build LibraryEvents Producer using KafkaTemplate - Approach1- Part2

• بررسی پشت صحنه API تولیدکننده رویدادها LibraryEvents Producer API - Behind the Scenes

• ساخت Producer با KafkaTemplate (روش دوم) Build LibraryEvents Producer using KafkaTemplate - Approach 2

• ساخت Producer با KafkaTemplate (روش سوم) Build LibraryEvents Producer using KafkaTemplate - Approach3

• ارسال KafkaRecord به همراه Headerها با KafkaTemplate Sending KafkaRecord With Headers using KafkaTemplate

تست یکپارچه‌سازی با استفاده از JUnit5 (عملی) Integration Testing using JUnit5 - Hands On

• مقدمه‌ای بر تست‌های خودکار Introduction to Automates Tests

• تست یکپارچه‌سازی برای اندپوینت POST (بخش ۱) Integration Test for POST endpoint - "/v1/libraryevent" - Part 1

• تست یکپارچه‌سازی برای اندپوینت POST (بخش ۲) Integration Test for POST endpoint - "/v1/libraryevent" - Part 2

• معرفی، پیکربندی و ادغام Embedded Kafka در JUnit Embedded Kafka - Introduction, Configure and Integrate in JUnit

• ادغام Kafka Consumer در JUnit و مصرف رکورد Integrate Kafka Consumer in JUnit and Consume the record

تست واحد با استفاده از JUnit5 (عملی) Unit Testing using JUnit5 - Hands On

• مقدمه‌ای بر تست واحد (Unit Testing) Introduction to Unit Testing

• تست واحد اندپوینت POST با استفاده از MockMVC Unit Test POST "/libraryevent" endpoint using MockMVC

• افزودن اعتبارسنجی (Validation) به Payload رویدادها Adding Validations to the LibraryEvent Payload

• مدیریت خطاهای 4xx با استفاده از ControllerAdvice Custom ErrorMessages using ControllerAdvice - Handling 4xx ClientErrors

ارسال پیام با کلید در Kafka Producer (عملی) Kafka Producer - Sending Message With Key - Hands On

• ایجاد اندپوینت PUT برای libraryEvent/ Create the PUT endpoint - "/libraryEvent"

تنظیمات مهم Kafka Producer Kafka Producer - Important Configurations

• تنظیمات مهم Kafka Producer Kafka Producer - Important Configurations

• بازنویسی retry و retry.backoff.ms (عملی) Override the retry and retry.backoff.ms - Hands On

ساخت Kafka Consumer با Spring Boot (عملی) Build Spring Boot Kafka Consumer - Hands On

• راه‌اندازی پروژه پایه برای Consumer رویدادهای کتابخانه Set Up the Library Events Consumer Base project

• آشنایی با Spring Kafka Consumer Introducing Spring Kafka Consumer

• پیکربندی Kafka Consumer با استفاده از پروفایل‌های Spring Boot Configure Kafka Consumer using Spring Boot Profiles - application.yml

• ساخت Kafka Consumer با استفاده از انوتیشن @KafkaListener Build Kafka Consumer using @KafkaListener Annotation

• نحوه عملکرد AutoConfiguration در Spring Boot برای Consumer How Spring Boot AutoConfiguration Works ? - Kafka Consumer

گروه‌های مصرف‌کننده و مدیریت Offset (عملی) Consumer Groups and Consumer Offset Management - Hands On

• گروه‌های مصرف‌کننده و Rebalance (عملی) Consumer Groups and Rebalance - Hands On

• مدیریت پیش‌فرض Offset در Spring Kafka (عملی) Default Consumer Offset Management in Spring Kafka - Hands On

• مدیریت دستی (Manual) Offset مصرف‌کننده (عملی) Manual Consumer Offset Management - Hands On

• مصرف‌کنندگان همزمان (Concurrent Consumers) (عملی) Concurrent Consumers - Hands On

ذخیره‌سازی رویدادهای کتابخانه در دیتابیس H2 Persisting Library Events in DB - Using H2 InMemory DataBase

• پیکربندی دیتابیس In-Memory H2 Configuring the H2 In-Memory DB

• ساخت Entityهای LibraryEvent و Book Create LibraryEvent and Book Entity

• ساخت لایه سرویس برای پردازش رویدادهای ADD Build Service Layer to process LibraryEvent - ADD Event Type

• ساخت لایه سرویس برای پردازش رویدادهای MODIFY Build Service Layer to process LibraryEvent - MODIFY Event Type

تست یکپارچه‌سازی با Embedded Kafka برای Consumer Integration Testing using Embedded Kafka - Kafka Consumer

• پیکربندی Embedded Kafka برای تست‌های یکپارچه‌سازی Configure Embedded Kafka for Integration Tests

• نوشتن تست یکپارچه‌سازی برای ارسال رویداد NEW Write the Integration test for posting a "NEW" LibraryEvent

• نوشتن تست یکپارچه‌سازی برای ارسال رویداد UPDATE Write the Integration test for posting a "UPDATE" LibraryEvent

• نوشتن تست برای ارسال رویداد UPDATE نامعتبر Write the Integration test for posting an invalid UPDATE LibraryEvent

• تست‌های یکپارچه‌سازی برای دیتابیس‌های واقعی با TestContainers Integration Tests for Real Databases using TestContainers

مدیریت خطا، تکرار و بازیابی در Kafka Consumer Error Handling, Retry and Recovery - Kafka Consumers

• مدیریت خطای سفارشی و Retry در Kafka Consumer Custom Error Handler and Custom Retry in Kafka Consumer

• افزودن RetryListener برای نظارت بر تلاش‌های تکرار Add a RetryListener to monitor each Retry attempt

• تکرار استثناهای خاص با استفاده از Custom RetryPolicy Retry SpecificExceptions using Custom RetryPolicy

• تکرار رکوردهای شکست‌خورده با ExponentialBackOff Retry failed Records with ExponentialBackOff

• بازیابی (Recovery) در Kafka Consumer Recovery in Kafka Consumer

• بازیابی: ارسال پیام به Retry Topic Recovery: Publish the message to the Retry Topic

• ساخت Listener برای RetryTopic جهت پردازش مجدد Build the RetryTopic Listener to reprocess the Message

• بازنویسی تست یکپارچه‌سازی LibraryEventsConsumer Refactor the LibraryEventsConsumer Integration test

• بازیابی: ارسال پیام به DeadLetter Topic Recovery: Publish the message to the DeadLetter Topic

• بازیابی: ذخیره پیام‌های شکست‌خورده در دیتابیس Recovery: Save the failed message to the DB

• بازیابی: استفاده از Spring Scheduler برای بازیابی پیام‌ها Recovery: Spring Scheduler to recover the failed message

مدیریت خطا، تکرار و بازیابی در Kafka Producer Error Handling, Retry and Recovery - Kafka Producer

• مدیریت خطا در Kafka Producer Error Handling in Kafka Producer

• تکرار در Producer هنگام عدم در دسترس بودن بروکر Retry in Kafka Producer - Broker Not Available

• تکرار در Producer در حالت Min.in.sync.replicas Retry in Kafka Producer - Min.in.sync.replicas

• نگهداری و بازیابی رکوردهای شکست‌خورده در Producer Retain/Recover Failed Records in Kafka Producer

امنیت کافکا با استفاده از SSL (عملی) Kafka Security using SSL : Hands-On

• چرا امنیت کافکا؟ و نحوه عملکرد SSL Why Kafka Security & How SSL works?

• نحوه مدیریت گواهینامه‌های SSL در سازمان‌ها How Enterprises add/manage SSL Certificate?

• راه‌اندازی امنیت SSL کافکا به صورت محلی Set Up SSL Kafka Security in Local

اتصال به کلاستر ایمن شده با SSL با استفاده از Spring Boot Accessing SSL Secured Kafka Cluster using Spring Boot

• پیکربندی Producer برای دسترسی به کلاستر ایمن شده با SSL Configuring Library Events Producer to access SSL secured Cluster

• پیکربندی Consumer برای دسترسی به کلاستر ایمن شده با SSL Configuring Library Events Consumer to access SSL secured Cluster